跳转至

文章背景与核心概要

稀疏激活的混合专家（MoE）Transformer 模型通常在所有层中分配相同数量的路由专家，这种做法忽略了模型在不同层级间存在的冗余性差异。本文提出的 MAPLE 框架旨在解决这一问题，它通过一种即插即用的方式，在无需修改权重或重新训练的情况下，对预训练 MoE 大语言模型（LLM）中的专家预算进行异构化重分配。

MAPLE 的核心技术在于一种闭式（closed-form）的敏感度引导分配策略，并结合了遗传搜索算法。该方法通过量化各层对专家数量变化的敏感度，将计算资源优先分配给敏感层，同时削减冗余层的资源占用。实验表明，在仅使用 75% 专家预算的情况下，MAPLE 在 DeepSeek-MoE-16B 等模型上的表现优于原始 100% 专家分配的基准，同时在 SGLang 推理框架中实现了 32.2% 的延迟降低和 47.4% 的吞吐量提升。

MAPLE：MoE 自适应即插即用层级专家分配框架

执行摘要

稀疏激活的混合专家（MoE）Transformer 模型传统上为每一层分配相同数量的路由专家，这忽略了层级间的冗余性。本文介绍了 MAPLE，这是一个即插即用的框架，可以在不改变权重或无需重新训练的情况下，对预训练 MoE 大语言模型（LLM）中的专家预算进行异构化重分配。

通过使用闭式、敏感度引导的分配策略并结合遗传搜索，MAPLE 将计算能力引导至敏感层，同时减少其他地方的冗余。实验表明，在 75% 的路由专家预算下，MAPLE 的表现优于均匀分配和基于剪枝的基准——例如，在 DeepSeek-MoE-16B 模型上，它超越了 100% 专家分配的基准，同时在 SGLang 中显著改善了部署延迟（降低 32.2%）和吞吐量（提升 47.4%）。

Sparsely-activated Mixture-of-Experts (MoE) Transformers traditionally assign an identical number of routed experts to every layer, ignoring layer-wise redundancies. This paper introduces MAPLE, a plug-and-play framework that heterogeneously reallocates expert budgets across layers in pretrained MoE Large Language Models (LLMs) without altering weights or requiring retraining.

Using a closed-form, sensitivity-guided allocation strategy combined with a genetic search, MAPLE directs capacity to sensitive layers while reducing redundancy elsewhere. Experiments show that under a 75% routed-expert budget, MAPLE outperforms uniform and pruning-based baselines—for instance, surpassing the 100% expert baseline on the DeepSeek-MoE-16B model while significantly improving deployment latency (32.2% reduction) and throughput (47.4% improvement) in SGLang.

元数据

  • arXiv ID: arXiv:2608.15299 [cs.LG]
  • 学科: 机器学习 (cs.LG)；人工智能 (cs.AI)
  • 提交日期: 2026年8月15日
  • 作者: Lie Li, Wen Li, Junxiao Shen, Gusheng Hu
  • 许可: 知识共享署名 4.0

摘要

稀疏激活的混合专家（MoE）Transformer 模型普遍在所有层中固定相同数量的路由专家，这种惯例忽略了文献中已充分记录的层级冗余异构性。我们证明了这种均匀性在系统上是次优的，并提出了 MAPLE，这是一个即插即用的框架，可以在不修改权重或无需重新训练的情况下，将路由专家预算异构地重分配到任何预训练 MoE LLM 的各层中。

我们的核心贡献是一种闭式的敏感度引导分配方法：我们探测每一层对专家数量变化的响应，使用三种度量标准量化敏感度，并推导出一种解析最优的预算分配方案，将计算能力导向敏感层，并吸收冗余层的削减。这种闭式解通过敏感度约束的遗传搜索进一步优化，该搜索利用层级敏感度作为先验来指导探索，从而实现更快的收敛和更优的分配质量。

在跨越不同规模和架构的四种 MoE 模型上，MAPLE 在 75% 的路由专家预算下优于均匀分配和基于剪枝的基准。值得注意的是，在 DeepSeek-MoE-16B 上，MAPLE 仅使用 75% 的专家，却在 ARC-E、ARC-C 和 BoolQ 上超越了原始 100% 专家均匀分配的基准，准确率分别从 65.09 提升至 71.40，从 48.49 提升至 51.50，从 80.03 提升至 82.38。这些准确率的提升转化为实际的部署效率：在 SGLang 中实施 MAPLE 可将单 GPU 端到端服务延迟降低 32.2%，并将吞吐量提高 47.4%。这些结果表明，精心设计的异构分配比简单地激活更多专家更有效，确立了其作为提高 MoE 效率的一种原则性和实用性方向。

Sparsely-activated Mixture-of-Experts (MoE) Transformers universally fix the same number of routed experts across all layers, a convention that ignores the well-documented heterogeneity in layer-wise redundancy. We demonstrate that this uniformity is systematically suboptimal and propose MAPLE, a plug-and-play framework that reallocates the routed-expert budget heterogeneously across layers of any pretrained MoE LLM, without modifying weights or requiring retraining.

Our core contribution is a closed-form sensitivity-guided allocation: we probe each layer's response to variation in expert count, quantify sensitivity using three measures, and derive an analytically optimal budget assignment that directs capacity towards sensitive layers and absorbs reductions in redundant layers. This closed-form solution is further refined by a sensitivity-constrained genetic search that uses layer-wise sensitivity as a prior to guide exploration, yielding faster convergence and superior allocation quality.

On four MoE models spanning different scales and architectures, MAPLE outperforms uniform and pruning-based baselines under a 75% routed-expert budget. Notably, on DeepSeek-MoE-16B, MAPLE uses only 75% of the experts yet surpasses the original 100% expert-uniform baseline on ARC-E, ARC-C, and BoolQ, improving accuracy from 65.09 to 71.40, 48.49 to 51.50, and 80.03 to 82.38, respectively. These accuracy gains translate into measured deployment efficiency: implementing MAPLE in SGLang reduces single-GPU end-to-end serving latency by 32.2% and improves throughput by 47.4%. These results show that well-designed heterogeneous allocation can be more effective than simply activating more experts, establishing it as a principled and practical axis for improving MoE efficiency.

关键亮点与性能

  • 无需重新训练： 作为即插即用框架直接在预训练模型上运行，无需修改底层权重。
  • 降低预算下的卓越准确率： 在 75% 的路由专家预算下，使用 MAPLE 的 DeepSeek-MoE-16B 在多个基准测试中优于其原始 100% 均匀专家分配的对应模型：
  • ARC-E: \(65.09 \rightarrow 71.40\)
  • ARC-C: \(48.49 \rightarrow 51.50\)
  • BoolQ: \(80.03 \rightarrow 82.38\)
  • 硬件效率： 通过 SGLang 集成测试，在单 GPU 上实现了 32.2% 的服务延迟降低 和 47.4% 的吞吐量提升。
  • Zero Retraining Required: Operates as a plug-and-play framework directly on pretrained models without modifying underlying weights.
  • Superior Accuracy on Reduced Budgets: Under a 75% routed-expert budget, DeepSeek-MoE-16B with MAPLE outperforms its original 100% uniform-expert counterpart across several benchmarks:
  • ARC-E: \(65.09 \rightarrow 71.40\)
  • ARC-C: \(48.49 \rightarrow 51.50\)
  • BoolQ: \(80.03 \rightarrow 82.38\)
  • Hardware Efficiency: Tested via SGLang integration, achieving a 32.2% reduction in serving latency and a 47.4% boost in throughput on a single GPU.

访问链接